/*
 * TOP SECRET Copyright 2006-2015 Transsion.com All right reserved. This software is the confidential and proprietary
 * information of Transsion.com ("Confidential Information"). You shall not disclose such Confidential Information and
 * shall use it only in accordance with the terms of the license agreement you entered into with Transsion.com.
 */
package com.yunji.framework_template.biz.crawler.cd;

import java.net.URI;
import java.net.URISyntaxException;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;

import javax.annotation.Resource;

import org.springframework.stereotype.Service;

import com.yunji.framework_template.biz.crawler.ContentImageHandler;
import com.yunji.framework_template.biz.crawler.NewsCrawler;
import com.yunji.framework_template.biz.crawler.SourceType;
import com.yunji.framework_template.common.enumeration.CountryCode;
import com.yunji.framework_template.common.enumeration.NewsType;

/**
 * ClassName:NationNewsCrawler <br/>
 * Date: 2018年12月18日 下午3:31:24 <br/>
 * 
 * @author fenglibin1982@163.com
 * @Blog http://blog.csdn.net/fenglibing
 * @version
 * @see
 */
@Service
public class CongoPageNewsCrawler extends NewsCrawler {

    @Resource
    private CongoPageNewsImageHandler congoPageNewsImageHandler;

    @Override
    public boolean isOkUrl(String url) {
        // 通过判断url的path中是否包括年月来判断其是否为新闻详情页
        URI uri;
        try {
            if (url == null || url.trim().length() == 0) {
                return false;
            }
            if (url.startsWith("mailto") || url.toLowerCase().startsWith("javascript")) {
                return false;
            }
            uri = new URI(url);
            String host = uri.getHost();
            if (host == null) {
                return false;
            }
            // afrik.com的证书有问题，不执行抓取
            if (host.indexOf("congopage.com") < 0 && host.indexOf("afrik-foot.com") < 0
                && host.indexOf("afrik-cuisine.com") < 0 && host.indexOf("afrik.com") < 0) {
                return false;
            }
            String path = uri.getPath();
            String[] pathArr = path.split("/");
            if (host.indexOf("congopage.com") >= 0 || host.indexOf("afrik.com") >= 0
                || host.indexOf("afrik-foot.com") >= 0) {
                if (pathArr.length == 2 && pathArr[1].split("-").length > 3) {
                    return true;
                }
            } else if (host.indexOf("afrik-cuisine.com") >= 0) {
                if (pathArr.length == 3) {
                    return true;
                }
            }
        } catch (URISyntaxException e) {
        }
        return false;
    }

    @Override
    public ContentImageHandler getContentImageHandler() {
        return congoPageNewsImageHandler;
    }

    @Override
    public List<SourceType> getSourceTypeList() {
        List<SourceType> sourceTypeList = new ArrayList<SourceType>();
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Politique").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Societe").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Sports").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Le-Monde").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Regions").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Culture").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Affaires").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Techno").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Art-de-vivre").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("http://www.congopage.com/Opinions-213").newsType(NewsType.CAR).build());

        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/edito").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/societe").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/sport").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/culture").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/internet").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/economie").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/decouverte").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/people").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/sante").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/portraits").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/autre-afrik").newsType(NewsType.BUSINESS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/communique").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/themes").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/dossiers").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/pays").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/pan-afrique").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/algerie").newsType(NewsType.POLITICS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/egypte").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/libye").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/maroc").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/sahara-occidental").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/tunisie").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/benin").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/burkina-faso").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/cap-vert").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/cote-divoire").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/gambie").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/ghana").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/guinee").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/guinee-bissau").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/liberia").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/mali").newsType(NewsType.BUSINESS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/mauritanie").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/niger").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/nigeria").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/senegal").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/sierra-leone").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/togo").newsType(NewsType.FOOD).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/djibouti").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/erythree").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/ethiopie").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/kenya").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/ouganda").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/somalie").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/soudan").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/soudan-du-sud").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/tanzanie").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/angola").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/burundi").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/cameroun").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/centrafrique").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/congo").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/gabon").newsType(NewsType.BUSINESS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/guinee-equatoriale").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/rdc").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/rwanda").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/sao-tome-et-principe").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/tchad").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/afrique-du-sud").newsType(NewsType.POLITICS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/botswana").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/ile-maurice").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/les-comores").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/lesotho").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/madagascar").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/malawi").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/mozambique").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/namibie").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/reunion").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/seychelles").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/swaziland").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/zambie").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/zimbabwe").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/france").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/caraibes").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/allemagne").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/belgique").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/bresil").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/canada").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/chine").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/espagne").newsType(NewsType.FOOD).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/etats-unis").newsType(NewsType.POLITICS).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/grande-bretagne").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/international").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/japon").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/pays-bas").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/suisse").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/musik").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/mode").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("https://www.afrik.com/proverbes").newsType(NewsType.HEALTH).build());

        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-breves").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/can").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/mondial").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/ligue-des-champions").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-histoire").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/pays").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-france").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-afrique-du-nord").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-algerie").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-egypte").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-libye").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-maroc").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-tunisie").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-afrique-de-l-ouest").newsType(NewsType.BUSINESS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-benin").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-burkina-faso").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-cote-d-ivoire").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-cap-vert").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-gambie").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-ghana").newsType(NewsType.FOOD).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-guinee").newsType(NewsType.POLITICS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-guinee-bissau").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-liberia").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-mali").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-mauritanie").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-niger").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-nigeria").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-senegal").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-sierra-leone").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-togo").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-afrique-de-l-est").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-djibouti").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-erythree").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-ethiopie").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-kenya").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-ouganda").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-somalie").newsType(NewsType.BUSINESS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-soudan").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-tanzanie").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-afrique-centrale").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-angola").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-burundi").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-cameroun").newsType(NewsType.FOOD).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-centrafrique").newsType(NewsType.POLITICS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-congo").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-gabon").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-guinee-equatoriale").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-rdc").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-rwanda").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-sao-tome").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-tchad").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-afrique-australe").newsType(NewsType.HOUSE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-afrique-du-sud").newsType(NewsType.ASKANDANSWER).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-botswana").newsType(NewsType.HEALTH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-ile-maurice").newsType(NewsType.MILITARY).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-comores").newsType(NewsType.CAR).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-lesotho").newsType(NewsType.TECH).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-madagascar").newsType(NewsType.FINANCE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-malawi").newsType(NewsType.NEWS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-mozambique").newsType(NewsType.BUSINESS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-namibie").newsType(NewsType.ENTERTAINMENT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-seychelles").newsType(NewsType.BLOG).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-swaziland").newsType(NewsType.MAN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-zambie").newsType(NewsType.WOMAN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-zimbabwe").newsType(NewsType.KIDS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-monde").newsType(NewsType.FOOD).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-asie").newsType(NewsType.POLITICS).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-allemagne").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-espagne").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-golfe-arabo-persique").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-grande-bretagne").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-international").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-italie").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-association").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-foot.com/foot-archives").newsType(NewsType.HOUSE).build());

        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/recettes/").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/recettes/").newsType(NewsType.HOT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/restaurants/").newsType(NewsType.EDUCATION).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/boutiques/").newsType(NewsType.VIDEO).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/histoire-et-produits/").newsType(NewsType.IMAGE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/livres/").newsType(NewsType.SPORT).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/sites/").newsType(NewsType.LIFESTYLE).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/communaute/").newsType(NewsType.FUN).build());
        sourceTypeList.add(SourceType.builder().url("http://www.afrik-cuisine.com/le-coin-des-chefs/").newsType(NewsType.HOUSE).build());

        return sourceTypeList;
    }

    @Override
    public Set<String> getCountryCodeSet() {
        Set<String> countryCodeSet = new HashSet<String>();
        countryCodeSet.add(CountryCode.CD.name());
        return countryCodeSet;
    }

}
